雷鋒網 AI 科技評論按：前兩天我們總結了2019 年十大精彩 AI 學術論文，從學術價值的角度挑選了我們認為 2019 年里值得重讀、值得紀念的機器學習論文。

　　在這篇文章里，雷鋒網 AI 科技評論會盤點 2019 年出現的新穎有趣、挑戰傳統觀念的十篇機器學習論文。其中有的論文的學術價值如何還有待商榷、有的論文甚至直接把前人的許多研究成果一把推翻，但這些論文都新意滿滿。這十篇論文剛好可以歸為 5 個不同的主題，每個主題兩篇。

　　上榜理由：2019 年年初，在聲稱「GPT-2 過于危險，不能公布預訓練模型」并引發大規模口水仗之后，OpenAI 覺得 GPT-2 的能力不止如此，他們嘗試的下一個任務是安全且喜聞樂見的音樂生成。基于 GPT-2 編寫的 MuseNet 模型繼承并進一步加強了長序列生成能力，使用的訓練數據是包含了 10 種不同樂器的、分類為多種不同曲風的數十萬個 MIDI 文件，也就是數十萬個樂曲。（MIDI 文件是樂譜的數字表示，可以指定樂器但不含有樂器的音色信息，學習 MIDI 是明確地讓模型學習作曲風格。）

　　模型的效果是驚人的，OpenAI 不僅在直播中演示了許多風格各異、辨識度高、旋律自然的生成樂曲，他們還在介紹博客中提供了一個互動演示，可以從某首些知名樂曲中取一個小節作為開頭，然后讓模型以其他的風格續寫，續寫結果令人驚喜。還有好奇且有動手能力的網友們利用 OpenAI 提供的試驗工具生成了更多樂曲，都印證了 MuseNet 確實有強大的作曲能力。

　　同期谷歌也在巴赫誕辰日做了一個模仿巴赫的作曲 AI（），可以根據用戶給出的音符，以巴赫的作曲風格增加。這兩個音樂 AI 的區別，除了巴赫 AI 只掌握巴赫的曲風之外，還在于巴赫 AI 是在已經給出的小節中繼續增加音符形成，而 OpenAI 的 MuseNet 是向后續寫更多小節。

　　上榜理由：三體運動問題沒有解析解早有定論，所以這篇論文公開之后也引發了一些批評，畢竟論文只是嘗試了極為簡化的情況（三個質量相等、初始速度為零的粒子在同一個平面內）、只是做到了接近的數值解就拿出來張揚，而且還宣稱比計算精確解的專業軟件快十萬倍，對網絡的能力有夸大吹捧之嫌。

　　這篇論文也有積極的一面。以深度學習為代表的機器學習手段確實在各種端到端的學習預測任務中得到了越來越多的運用，但其實深度學習的能力也不僅如此，它還可以在許多領域的更多任務中發揮作用，正如三體運動這樣的復雜問題中我們缺少可以快速計算近似解的工具。

　　上榜理由：現代 CNN 網絡有很強的特征表示學習能力，能在ImageNet 上得到很高的識別準確率。不過，不斷改進網絡架構、不斷刷分的人多，探究 CNN 到底學到了怎么樣的特征表示的人少。按理說，對象識別的邊界和紋理之爭早就存在，不過我們終于還是在 2019 年看到了針對性的研究論文。

　　這篇論文中的實驗表明，在 ImageNet 上訓練的 CNN 網絡在對象識別中依賴紋理遠多于依賴形狀；這其實和人類對自己的識別模式的認知有很大區別，也和我們對 CNN 工作方式的理解有所不同。作者們的結論有充分的實驗支持，他們甚至用生成的風格轉換數據集訓練了依賴形狀更多的 CNN，這樣的 CNN 在識別準確率和魯棒性方面都有提高。這篇論文被 ICLR 2019 接收。

　　上榜理由：2019 年中，包括 OpenAI 在內的一批學者「老調重談」地再次討論起模型復雜度和過擬合的問題來。機器學習界流傳已久的觀念是，隨著模型的復雜度增大（學習能力提高），模型總能得到更小的訓練誤差，但測試誤差和訓練誤差的差會越來越大（出現過擬合）；所以模型復雜度不能太低、也不能太高，我們需要找到相對平衡的那個點。（上面的 U 型圖）

　　但這兩年來，一大批超級大、超級復雜的模型用實際行動表明了訓練誤差和測試誤差都還可以一同持續下降。所以這次討論形成的新共識是，我們需要在 U 型圖的右側繼續擴充，用來表示現代的、大容量的深度學習模型在大小超過某個閾值之后，越大的模型會具有越好的泛化性。這樣，整張圖就形成了雙波谷的樣子（下圖） —— 也就是說，當你的模型大小很不幸地落在中間的波峰的時候，你就會遇到模型越大、 數據越多反而表現越差的尷尬情境。

　　上榜理由：人類研究人員們相信，真實數據的多種多樣的變化總是可以用一些關鍵因素的波動來解釋；至于這些因素分別是什么，就可以用無監督學習的方式尋找解耦的表征，從而成功地揭示數據分布規律。這個方向目前已經有一些研究成果，研究人員們也已經形成了一些共識。

　　但這篇論文可以說把現階段的大部分成果和假設一竿子全部打翻。作者們首先從理論上說明，如果不在模型和數據上都引入歸納偏倚，那么解耦表征的無監督學習本來就是不可能的。接著，作者們用大規模實驗表明，雖然不同的方法都可以找到和選取的訓練損失對應的性質，但只要沒有監督，就訓練不出能良好解耦的模型。除此之外，隨著表征解耦程度的提高，學習下游任務的樣本復雜度并沒有跟著降低。這幾點結論都和當前的解耦表征無監督學習的共識形成鮮明沖突，這個方向的研究人員們也許需要重新思考他們要從多大程度上從頭來過。

　　作者們的建議是，未來的解耦學習研究需要分清人為引入的歸納偏倚和監督（即便是隱式的）兩者分別的作用，需要探究通過人為選取的損失「強迫」模型學習解耦帶來的收益到底大不大，以及要形成能在多個不同的數據集上測試、結果可復現的實驗慣例。這篇論文被 ICML 2019 接收。

　　上榜理由：為了探究深度學習泛化能力背后的原理，學術界提出了泛化邊界的概念，然后嘗試用「收斂一致性」理論推導、設計出了各種各樣的泛化邊界描述方法，似乎已經取得了不少成果。但這篇論文中作者們通過大量實驗發現，雖然其中的許多泛化邊界從數值角度看起來挺大，但隨著訓練數據集大小變大，這些泛化邊界也會跟著變大。

　　在此基礎上，作者們用過參數化的線性分類器和梯度下降訓練的神經網絡為例，證明了收斂一致性并不能解釋模型的泛化性，即便完全考慮了梯度下降可能帶來的隱式偏倚也解釋不了。更嚴謹地說，作者們實驗表明，根據收斂一致性得到的泛化邊界要比根據梯度下降得到的泛化邊界大得多。根據這一系列結果，作者們對「用基于收斂的方法解釋泛化能力」的做法提出嚴重的質疑。雖然這篇論文并沒能解決（也沒打算解決）深度神經網絡中的泛化性問題，但它顯然為整個領域指出「此路不通，考慮重來」。這篇論文獲得NeurIPS 2019 杰出新方向論文獎。

　　上榜理由：雖然機器學習研究人員們總說通用人工智能是遠大理想和努力方向，但「在固定的具體任務上跑分」的慣例實在看不出哪里和通用人工智能沾邊了。谷歌大腦研究員、Keras 庫作者 François Chollet 在日常抨擊這種風氣的同時，最近也公開了一篇嚴肅的論文，明確提出我們需要考慮如何測量真正的智慧。

　　他在論文中描述的核心想法是：要了解一個系統的智慧水平，應當測量它在一系列不同任務中表現出的獲得新能力的效率；這和先驗、經驗、泛化難度都相關。論文中包含了對 AI、智慧相關概念的解釋和討論，他認為的理想的通用 AI 評價方式，以及他自己設計的認為比較能反映及測量真正的智慧的 ARC 數據集。對智慧的討論和復制還有很長的路要走，這篇論文再次提醒大家對「我們應該從哪里開始、往哪里去」保持清醒。

　　上榜理由：這篇論文提出了一種全新的自學習方法，它采用的并不是深度學習中慣用的端到端梯度下降，而是把貪婪 InfoNCE 作為目標，分別獨立地訓練網絡中的各個模塊。它的學習方式更接近于自監督學習，是把各種不同的小塊之間的共同信息作為每個小塊的訓練的監督信號，把時間維度上臨近的表征之間的共同信息最大化。之所以這種做法能奏效，是因為數據中符合這種設想的「慢特征」對下游任務非常有幫助。這種方法大幅節省了訓練時間，也避開了大規模模型遇到的內存空間瓶頸。

　　這種方法很大程度上是從生物學現象得到啟發的，也就是，整個大腦并不針對同一個唯一的目標進行優化，而是有模塊化的功能分區，然后每個區域都優化自己的局部信息。目前看起來，這種方法可以方便地快速訓練更深的模型，利用局部信息的設定也避免了傳統神經網絡中梯度消失的問題。這是一種有潛力的方法，不過是否能像論文標題中說的那樣「給端到端學習畫上句號」還需要等待時間驗證。這篇論文獲得NeurIPS 2019 杰出新方向論文提名獎。

　　上榜理由：這是一篇 EMNLP 2019 接收論文，會議結束之后則在社交網絡上引發了大片聲討之聲。我們固然知道具備優秀學習擬合能力的深度神經網絡有能力大批量生成新聞評論，這篇論文中的方法能提取文章的重點觀點生成響應的評論，而且也在自動評價指標和人類評價的兩個方面都得到了很好的結果，但批評的聲音認為，更重要的是「是否應當做這樣的研究，這樣的研究的社會影響是怎么樣的」。EMNLP 2019 還有一篇遭受了類似批評的論文是《Charge-Based Prison Term Prediction with Deep Gating Network》（），在訴訟案件中根據檢方指控的罪行預測被告刑期。

　　作為更大、更綜合性的會議，NeurIPS 2019 接收論文中也有帶來很大爭議的，這篇「用 GAN 從聲音重建人臉」的論文就炒得沸沸揚揚。即便我們認可一個人的說話聲音可能和性別、年齡、體形相關，也許模型能比人類更敏感更明確地找到其中的相關性，但「侵犯隱私」、「喪失道德判斷力」、「增加社會偏見」、「做奇怪無用的課題」之類的批評仍然是免不了的。